Dataphin集成任务同步数据到ElasticSearch报错“failed to parse field [XXX] of type [date] in document with id 'XXX'. Preview of field's value: '1900-01-01 08:05:43”

问题描述

用户集成任务同步数据到ElasticSearch报错“failed to parse field [XXX] of type [date] in document with id 'XXX'. Preview of field's value: '1900-01-01 08:05:43”。

问题原因

这个错误原因是ElasticSearch的这个index下之前有数据，且XXX字段是date类型，使用追加模式写入数据，ElasticSearch会继续使用之前的date类型的时间格式去解析要写入的数据，而ElasticSearch默认的时间格式是：1900-01-01T08:05:43.000+08:05:43这种样子。本次管道配置XXX字段的类型是不再是date类型，而写进去的数据内容1900-01-01 08:05:43，格式不一致，所以出错。

解决方案

1. ElasticSearch组件的加载策略选择覆盖模式，那ElasticSearch便不会再使用之前的数据类型。

2. 在ElasticSearch组件中，把XXX的字段类型修改回date类型。

适用于

• Dataphin
• ElasticSearch